首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏用户8077380的专栏

    Gemma 3n在安卓端的本地部署与使用

    ——代表为Gemma 3n,如Gemma 3n E2B, Gemma 3n E4B(3) 按应用和调优分类:基础模型(Pre-trained/PT)——经过大规模数据集训练,但是未针对特定指令或任务进行微调 3n的特性(1) Gemma 3n属于端侧大模型,适合在手机、电脑等设备上运行(2) Gemma 3n可以离线运行(3) Gemma 3n完全可以离线运行在本地,不上传用户数据,对用户的隐私保护好4. 3n大模型 首先下载Gemma 3n模型到手机本地。 3n大模型的方法,一种是直接下载安装Google AI Edge Gallery app内置的Gemma 3n大模型,进入对话;另一种是用Google AI Edge Gallery app加载从Kaggle 等网站下载到手机本地存储目录的Gemma 3n大模型文件,然后进行对话。

    52720编辑于 2025-12-02
  • Google 正式推出 Gemma 3n:开启多模态 AI 的设备内时代

    Google 正式推出 Gemma 3n:开启多模态 AI 的设备内时代摘要2025 年 5 月,Google DeepMind 正式推出 Gemma 3n,这是 Gemma 系列中首款为设备端(手机、 本文将剖析 Gemma 3n 的技术架构、运行机制与优势,以及其在医疗、教育、智能助手、IoT 等行业中的潜在变革力量,并展望未来发展方向。1. Gemma 系列简介与 Gemma 3n 的发布背景自 2024 年 2 月推出最初版本以来,Google DeepMind 的 Gemma 系列模型快速迭代更新,成为“轻量级开源大模型” 的代表之一 AR/VR 与 IoT 深度整合:Gemma 3n 将成为交互中枢,驱动智能设备无界联通。 总结:Gemma 3n 引领 AI 向设备端普及Gemma 3n 是 Google 推进 AI “向边缘落地” 的关键一步。

    56910编辑于 2025-09-03
  • 来自专栏福大大架构师每日一题

    ollama v0.9.3深度解析:支持Gemma 3n轻量多语言模型与关键优化详解

    本次更新带来了对全新Gemma 3n模型系列的支持,以及多项重要的功能修复和性能优化。 版本v0.9.3作为最新的稳定发行版,专注解决前版本中影响用户体验的bug,同时引入能够广泛覆盖日常交流场景的新模型Gemma 3n。 三、Gemma 3n模型详解 3.1 模型定位与设计理念 Gemma 3n系列模型属于中小型参数规模模型,针对笔记本、平板等资源有限的终端设备进行了架构和计算优化。 相比传统需云端推理或依赖高性能GPU的超大模型,Gemma 3n在性能与资源占用之间找到平衡点,实现高效的推理速度和较低延迟。 5.2 运行Gemma 3n模型 结束安装后,即可直接在终端体验模型: . ollama run gemma3n:e2b 或执行更大参数的4B版本: . ollama run gemma3n:e4b 5.3

    98610编辑于 2025-06-28
  • 来自专栏深度学习与python

    2G 内存跑 Gemma 3n 完整版!全球首个 10B 内模型杀疯 LMArena:1300 分碾压记录

    作者 | 褚杏娟 当地时间 6 月 26 日,在上个月的 Google I/O 上首次亮相预览后,谷歌如今正式发布了 Gemma 3n 完整版,可以直接在本地硬件上运行。 据悉,此次正是发布的 Gemma 3n 现已具备输入图像、音频和视频的能力,支持文本输出,还能在最低 2GB 内存的设备上运行,在编程与推理等任务上据称表现更佳。 端侧优化设计:Gemma 3n 着眼于运行效率,提供两种基于“有效参数”的尺寸:E2B 和 E4B。 大幅提升内存效率的关键 在最新的 Gemma 3n 模型中,谷歌引入了名为 Per-Layer Embeddings(逐层嵌入,简称 PLE) 的创新机制。 全新视觉编码器,提升多模态任务表现 Gemma 3n 推出了全新高效的视觉编码器:MobileNet-V5-300M,来提升边缘设备上的多模态任务表现。

    78310编辑于 2025-07-08
  • 来自专栏机器学习与统计学

    全新大模型开源,腾讯(int4能打DeepSeek) Vs 谷歌(2GB运行多模态)

    谷歌 Gemma 3n 谷歌 Gemma 又填新成员,往端侧运行发展的小模型 -3n 多模态原生设计:Gemma 3n 天然支持图像、音频、视频和文本输入,并输出文本结果。 为端侧优化而生:Gemma 3n 以效率为核心设计理念,提供 E2B 和 E4B 两种有效参数规模的版本。 突破性架构:Gemma 3n 的核心创新包括 MatFormer 架构(实现计算灵活性)、逐层嵌入技术 PLE(提升内存效率)、LAuReL 与 AltUp(优化架构效率),以及专为端侧场景优化的新型音频编码器和基于 卓越性能:Gemma 3n 在多语言支持(覆盖 140 种文本语言和 35 种多模态语言理解)、数学运算、代码生成及逻辑推理方面实现全面升级。 只值得期待的就是:如此之低的成本即可拥有端侧运行的多模态大模型 我看外面网友的实测,Gemma 3n 的语音转文字与翻译功能是不错的。

    62810编辑于 2025-06-30
  • 来自专栏AI SPPECH

    43_PaLM与Gemma:谷歌LLM演进

    Gemma 3n的发布背景 在2025年I/O开发者大会上,谷歌发布了Gemma 3n,这款产品旨在在手机、笔记本电脑和平板电脑上"流畅"运行。 Gemma 3n的发布标志着大型AI模型向移动设备的进一步普及。 近年来,高效到可以离线运行且无需云端计算的模型在人工智能领域日益受到青睐。 6.2 Gemma 3n的技术特点 Gemma 3n具有以下技术特点: 极致轻量化:针对移动设备优化的模型结构 多模态支持:可以处理音频、文本、图像和视频 离线运行能力:支持在设备本地运行,保护用户隐私 6.3 移动端AI的未来展望 Gemma 3n的发布开启了移动端AI的新时代。 “Introducing Gemma 3 and Gemma 3n”. Google Developer Conference. Google Health AI. (2025).

    27210编辑于 2025-11-12
  • 来自专栏育种数据分析之放飞自我

    gemma软件在Linux安装教程

    大家好,我是邓飞,今天介绍一下GEMMA软件的安装和使用教程。 GCTA和GEMMA是GWAS分析中应用最广泛的两款软件,GCTA可以在Windows电脑下运行,而GEMMA软件只有Linux和Mac系统,这里介绍一下如何在Linux系统中安装GEMMA软件。 GEMMA名字来源 GEMMA名称来源: G:Genome-wide E:Efficient MM:Mixed-model A:Association 2. GEMMA下载地址 GEMMA的github地址:https://github.com/genetics-statistics/GEMMA/releases 最新版的是0.98.5 3. /gemma-0.98.5-linux-static-AMD64 ./gemma-0.98.5-linux-static-AMD64 -h 1 加粗样式 5.

    1.8K11编辑于 2023-11-05
  • 来自专栏机器之心

    谷歌开源Gemma 3 270M,性能超越Qwen 2.5同级模型

    本周四,谷歌正式发布了 Gemma 3 的最新一款模型。 极致节能:Gemma 3 270M 的一个关键优势是其低功耗。 你可以在 Gemma 文档中找到使用 Gemma 3 270M 进行完整微调的指南:https://ai.google.dev/gemma/docs/core/huggingface_text_full_finetune 过去几个月,谷歌的 Gemma 开放模型系列经历了一系列发布。在 4 月到 5 月,谷歌推出了 Gemma 3 和 Gemma 3 QAT,为单云和桌面级 GPU 提供了不错的 AI 性能。 随后在 6 月 25 日,面向移动端的 Gemma 3n 正式发布,为手机等设备引入了强大的实时多模态 AI 能力。 谷歌表示,截止上周,Gemma 系列的累积下载量已经突破了两亿次。

    30110编辑于 2025-08-24
  • Gemma 3 270M:专为超高效AI设计的紧凑模型

    介绍 Gemma 3 270M:用于超高效AI的紧凑模型过去几个月对于Gemma系列开源模型来说是一段激动人心的时期。 先是推出了Gemma 3和Gemma 3 QAT,为单个云和桌面加速器提供了最先进的性能。随后,又宣布了Gemma 3n的全面发布,这是一种移动优先的架构,将强大的实时多模态AI直接带到了边缘设备。 今天,我们为Gemma 3工具包增加了一个新的、高度专业化的工具:Gemma 3 270M。 何时选择 Gemma 3 270MGemma 3 270M继承了Gemma 3系列的先进架构和强大的预训练,为您的定制应用提供了坚实的基础。 您可以在Gemma文档中找到关于使用Gemma 3 270M进行全面微调的指南。

    13510编辑于 2026-02-04
  • 来自专栏ml

    uva----(100)The 3n + 1 problem

    The 3n + 1 problem Background Problems in Computer Science are often classified as belonging to a certain

    71390发布于 2018-03-26
  • 来自专栏机器学习与统计学

    大模型 LLM 架构对比,DeepSeek、Llama、Qwen、Kimi、Mistral、Gemma

    Gemma 3 谷歌的 Gemma 模型一直表现出色,但在我看来,相较于 Llama 系列等热门模型,Gemma 略显低调。 而 Gemma 3 调整为 5:1 的比例,即每 5 个滑动窗口(局部)注意力层才有一个全局注意力层;此外,滑动窗口大小从 Gemma 2 的 4096 减小到 Gemma 3 的 1024。 3.4 Bonus:Gemma 3n Gemma 3 发布几个月后,谷歌推出了 Gemma 3n,这是一个为小设备(如手机)优化的 Gemma 3 模型。 图 15:来自谷歌 Gemma 3n 博客(https://developers.googleblog.com/en/introducing-gemma-3n/)的注释图,展示 PLE 的内存节省。 例如,Gemma 3n 使用单一共享的 LLM(Transformer)架构,可以切分为较小的独立可用模型。每个切片都经过训练可独立运行,因此在推理时只需运行所需的部分(而非整个大模型)。 4.

    2.3K10编辑于 2025-08-05
  • 来自专栏程序编程之旅

    HDOJ 1032(POJ 1207) The 3n + 1 problem

    Problems in Computer Science are often classified as belonging to a certain class of problems (e.g., NP, Unsolvable, Recursive). In this problem you will be analyzing a property of an algorithm whose classification is not known for all possible inputs. Consider the following algorithm:

    34220发布于 2021-01-19
  • Gemma-2B langchain 接入

    ', cache_dir='/root/autodl-tmp', revision='master') 代码准备 为便捷构建 LLM 应用,我们需要基于本地部署的 Gemma2B,自定义一个 LLM 类 ,将 Gemma2B 接入到 LangChain 框架中。 (LLM): # 基于本地 gemma2b 自定义 LLM 类 tokenizer: AutoTokenizer = None model: AutoModelForCausalLM " 在上述类定义中,我们分别重写了构造函数和 _call 函数:对于构造函数,我们在对象实例化的一开始加载本地部署的 Gemma 模型,从而避免每一次调用都需要重新加载模型带来的时间过长;_call 函数是 from LLM import Gemma2B llm = Gemma2B(model_name_or_path = "/root/autodl-tmp/Lucachen/gemma2b") llm("

    33510编辑于 2025-07-21
  • 来自专栏Java3y

    《数据结构与算法》O(3N)=O(N)?

    在学习算法效率的时候一般会把O(3N)≈O(N),N的常数倍都直接约等于O(N)。这也是约等于,不是完全相等。实际编程设计时特别是在一些效率要求较高的程序设计一定要考虑进去,不能约等于。 在高并发的请求下,O(3N)和O(N)是有着天壤之别的。 我在工作中遇到的一个实例,差点背了事故。 一个高并发的场景下(qps在5k左右),我写了一个O(3N)的程序,测试时逻辑没问题,结果没问题,没有对该场景进行高并发压测,就上线了。 错误的把O(3N)=O(N)的算法上线了。把算法优化为O(N)之后,经过一番压力测试完全没问题。这次事件对我一个很大的启示是,高并发的场景下,O(3N)≠O(N),一定不能等于。

    73740发布于 2020-03-03
  • Gemma2b-Instruct Lora 微调

    本节我们简要介绍如何基于 transformers、peft 等框架,对 Gemma2b 模型进行 Lora 微调。Lora 是一种高效微调方法,深入了解其原理可参见博客:知乎|深入浅出 Lora。 =True) model = AutoModelForCausalLM.from_pretrained('/root/autodl-tmp/Lucachen/gemma2b', device_map= /gemma2b_lora' trainer.model.save_pretrained(lora_path) tokenizer.save_pretrained(lora_path) 加载 lora /gemma2b_lora' # lora权重路径 # 加载tokenizer tokenizer = AutoTokenizer.from_pretrained(mode_path) # 加载模型 /04-Gemma-2B-Lora%E5%BE%AE%E8%B0%83.ipynb

    25910编辑于 2025-07-21
  • 根红苗正的GWAS软件:GEMMA

    跑GWAS项目,几百个样本,几万个位点,rMVP、GAPIT都可以用,如果是几千万个位点,几千个样本,GEMMA运算速率更高,占用内存和运行时间都比较理想,下面介绍一下这个软件。 GEMMA名称来源: - G:Genome-wide - E:Efficient - MM:Mixed-model - A:Association GEMMAX主要特点:快 就是它跑3.3h,其它软件跑 GEMMA语法特点 相对于plink的语法,GEMMA语法更简练,一个杠,一个字母。 GEMMA生成G矩阵: gemma-0.98.1-linux-static-bfilec-gk 2 -pp.txt GEMMA分析MLM模型: gemma-0.98.1-linux-static -bfile 代码如下: $ cat ~/bin/add_pve_from_gemma_result_and_tiqu_sig.R #!

    800编辑于 2026-03-12
  • Gemma-2B-Chat WebDemo 部署

    import snapshot_download, AutoModel, AutoTokenizer import os model_dir = snapshot_download('Lucachen/gemma2b pipeline import torch import streamlit as st # 在侧边栏中创建一个标题和一个链接 with st.sidebar: st.markdown("## Gemma2b 之间,默认值为512 max_length = st.slider("max_length", 0, 1024, 512, step=1) # 创建一个标题和一个副标题 st.title(" Gemma2b A streamlit chatbot powered by Self-LLM") # 定义模型路径 mode_name_or_path = '/root/autodl-tmp/Lucachen/gemma2b

    17500编辑于 2025-07-21
  • 来自专栏LinkinStar's Blog

    尝试 Google Gemma 模型 MacOS 本地部署

    前言 最近 Google 发布了 Gemma,是 Gemini 的低配版本,既然是 Google 出品那我一定要来吃螃蟹的。所以我本地部署了一个 7b 的版本来尝试使用一下看看效果。 所以我就简单列一下它的步骤(其实官网已经描述的非常详细了,也很简单 https://github.com/ollama/ollama) 下载 运行 ollama run gemma 使用 对的,直接在命令行里面就能直接开始问了 对于翻译任务来说,我觉得 Gemma 是可以帮助到你的,虽然依据可能有语法错误,但比一般的翻译好,它能理解一些语意意义的翻译。 做题 数学问题别想了,很容易翻车,其他场景问题还可以。

    1.1K10编辑于 2024-03-14
  • 来自专栏育种数据分析之放飞自我

    根红苗正的GWAS软件:GEMMA

    现在GWAS更多使用LMM模型,这个模型plink没法做,下面介绍GEMMA软件。 学习plink软件做GWAS,更多的是学习数据质控和GWAS原理,真正应用广泛的还要是混合线性模型LMM或MLM,GEMMA是一个明星软件,当然也有其它软件,比如GAPIT、FamCPU、rMVP、GCTA GEMMA语法特点 相对于plink的语法,GEMMA语法更简练,一个杠,一个字母。 GEMMA生成G矩阵: gemma-0.98.1-linux-static -bfile c -gk 2 -p p.txt GEMMA分析MLM模型: gemma-0.98.1-linux-static 代码如下: $ cat ~/bin/add_pve_from_gemma_result_and_tiqu_sig.R #!

    91710编辑于 2024-03-25
  • 来自专栏DeepHub IMBA

    谷歌Gemma介绍、微调、量化和推理

    所以这篇文章我们将介绍Gemma模型,然后展示如何使用Gemma模型,包括使用QLoRA、推理和量化微调。 如果考虑参数总数,Gemma 7B有8.54B个参数… 相比之下Gemma更接近9B。 可以看到,其实Gemma 7B比Llama 2 7B多1.8B个参数,按照参数越多,性能越好的理论,Gemma 比其他模型好是必然的。 2、Gemma的训练数据 Gemma 2B和7B分别接受了2万亿个和6万亿个token的训练。这意味着Gemma 7B接受的token比Llama 2多3倍。 总结 许多框架已经很好地支持Gemma模型,GPTQ和AWQ的量化也将很快就会发布的,经过量化后可以在8gb GPU上使用Gemma 7B。 不可否认发布Gemma模型是谷歌前进的一步。

    2.5K10编辑于 2024-03-01
领券